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(57) Abstract: The invention concerns a method for displaying data in a multimedia file, based a request presented by a user on an 
open computer network comprising a plurality of computer terminals enabling transmission of graphic data displayed in multimedia 
files. Said method comprises a data input step by the user which consists in selecting an image which consists in selecting an image 
comprising at least an object, step processing the request, a step interrogating a database based on said request, a step establishing a 
fili^ comprising the set of replies associated with said request. The invention is characterised in that the processing step includes the 
retrieval of objects contained in the specific image, the step interrogating the database includes comparing the objects contained in 
the specific image with those contained in said database. 

(57) Abr^£: La pr^ente invention conceme un procddd de presentation d'informadons dans un fichier multimedia, ^ partir d'tme 
requdte effectufe par un utilisateur sur un r^seau informatique ouvert comportant une plurality de terminaux informatiques permet- 
tant la transmission de donnees graphiques affichdes dans des fichiers multimedia, ledit procdde comportant une dtape de saisie de 
la requite par Tutilisateur consistant en le choix d'une image comportant au moins un objet, une 6xape de traitement de la requ^. 
une etape d' interrogation d'une base de donn^es sur la base de cette requite, une etape de construction d*un fichier comportant Ten- 
semble des reponses associ^es k cette requite, caract^rise en ce que: retape de traitement comporte i* extraction des objets contenus 
dans l*image sp6cifique; retape d* interrogation de la base de donn^es comporte la comparaison des objets contenus dans I'image 
sp^cifique avec ceux qui sont contenus dans ladite base de donates. 
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PROCEDE DE COMMERCIALISATION DE BXENS OU DE 
SERVICES PAR DBS MOYENS ELECTRONIQUES SUR DES 
RESEAXJX DU TYPE INTERNET . 

L* invention conceme le doitiaine de la 
diffusion d' informations et de donnees et de la 
commercialisation de biens ou de services par des moyens 
61ectroniques sur des reseaux du type Internet. 

Les logiciels navigateurs offrent au reseau 
Internet des interfaces graphiques facilitant 1 ' acces et 
1 'utilisation de ce reseau de coinmunication. Une 
utilisation grandissante de ce reseau consiste en sbb, 
transformation en moyen commercial, ouvrant ainsi la voie 
a de nouvelles formes de vente de biens ou de services . 

Les services de ventes sont aujourd'hui 
concentres dans des sites specialises, qui peuvent §tre 
strictement d^dies aux transactions ou qui peuvent offrir 
des services complementaires gratuits. Un grand nombre de 
soci6t6s coromercialisent leurs produits sur leurs sites 
Internet. Les moteurs de recherche intfegrent la donn^l'' 
commerciale et peuvent permettre de trouver un produit 
specif ique. 

Dans tous les cas, les systemes proposes 
supposent que 1 'utilisateur effectue une demarche active 
en vue d'un achat. Soit il se trouve sur un site 
specialise, soit il est a la recherche d*un produit 
specif ique. L * interactivite offerte par les moyens 
informatiques utilises n'est pas encore optimisee pour 
creer des impulsions d* achat k tout moment. Lorsque 
1 'utilisateur visualise des pages Internet d'un site non 
commercial comportant un produit qui pourrait 
1 • interesser , rien ne lui permet d' identifier la marque ou 
un distributeur de ce produit et encore moins de proceder 
a son achat en ligne. 

La presentation graphique de 1 ' Internet, 
multiplie les tentations et les coups de coeur potentiels 
du fait de sa richesse visuelle, mais il est aujourd'hui 
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incapable de transformer instantanement una iitqpulsion en 
possibilite d 'achat - 

Si I'internaute souhaite accjuerir I'objet qui 
I'a seduit, il se lance dans uhe demarche longue et 
5 incertaine car les sites de contenu et les sites 

commerciaux ne sont pas li^s. 

On connait dans l'6tat de la technique des 
precedes de recherche d' images. L' article "Region queries 
without segmentation for image retrieval by content" paru 
10 dans les actes de la "3nd international conference on 

visual informations systems VISUAL 99", Amsterdam, 2-4 
juin 1999, pages 1-8 d^crit un proc^d^ de recherche 
d' images par region d'interet, mettant en ceuvre une etape 
"'i de decoupage systematique de 1' image, selon un format de 
15 decoupage identique pour toute les images. La 

reconnaissance s'effectue par coitrparaison du contenu de 
chaque element de ce decoupage. 

Une telle solution ne permet pas la 
reconnaissance d'un objet dans 1' image, ind^pendamment de 
20 son position par rapport ^ cette image. 

Le brevet US5758324 conceme un proc6d6 de 
recherche d* images par 1' analyse d' informations textuelles 
d* annotation desdites images. Ce precede ne permet pas la 
recherche d' images non prepar6es, c'est-^-dire n'ayant pas 
25 fait 1' objet d'un ref erencement initial. 

L* article "Relevance feedback and category 
search in image databases" paru dans Proceedings IEEE 
Multimedia systems 99, Florence 7-11 juin 1999, Pages 512- 
517 vol. 1 d^crit un proced4 de recherche d' images par 
30 affinage successif de requites afin de retrouver des 

images d'une cat^gorie determinee. 

Une telle solution necessite une phase 
d* interaction avec un utilisateur afin de determiner le 
degr6 de proximity des images en fonction des choix d'un 
35 operateur humain. Elle ne permet pas une automatisation du 

processus de recherche, pour une nouvelle cat^gorie 
>; d' images. 
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invention vise a proposer \m precede 
am61iore de recherches d* images totalement automatism, 
palliant aux inconvenient s des precedes de 1 ' etat de la 
technique. 

5 L' invention conceme un proc6d6 de 

presentation d' off res coiranerciales permettant de proposer 
un produit similaire a I'objet dont la representation est 
visible dans la page du site qui a declenche la decision 
d • achat • 

10 Elle consiste en un precede de presentation 

d' informations dans un fichier multimedia, a partir d'une 
requite effectuee par un utilisateur sur un r6seau 
informatique ouvert comportant xme pluralite de terminaux 
inf ormatiques permettant la transmission de donn6es 

15 graphiques affichees dans des fichiers multim^dias, ledit 

precede comportant une 6tape de saisie de la requ§te par 
1 'utilisateur consistant dans le choix d'une image 
comportant au moins un objet, une 6tape de traitement de 
la requSte, une 6tape d' interrogation d'une base d^^ 

20 donn^es sur la base de cette requite, une etape de 

construction d*un fichier comportant 1* ensemble des 
reponses associ^es a cette requete, caracterise en ce que 

- L • etape de traitement comporte 1 ' extraction 
25 des objets contenus dans 1* image specif ique ; 

L' etape d* interrogation de la base de 
donn^es comporte la comparaison des objets contenus dans.. 
1 ' image sp6cif ique avec ceux contenus dans ladite base de 
donn6e , 

30 L'6tape d* extraction est une 6tape d' analyse 

adaptative de 1 * image globale afin d'isoler une zone 
d'int6r§t contenant un element graphique objet de la 
requ§te . 

Avantageusement , on definit une zone 
35 specif ique .6tant determinee automatiquement de fagoil 

propre a chaque image analysee. Contrairement aux 
solutions de I'^tat de la technique, cette zone specif ique 
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n'est pas constante et invariable pour 1* ensemble des 
images. Le decoupage ne necessite pas un module defini "a 
priori", mais est recalcule en fonction des specif icites 
de chacune des images analysees. 

Dans une variante, I'on calcule pour chaque 
objet un ensemble de signatures visuelles. 

Pref erentiellement, 1 ' interrogation de la base 
de donn6es comporte une etape de coitparaison des 

R signatures visuelles des objets extraits et des images 
contenues dans la base de donnees afin de trouver les 
objets similaires memorises dans ladite base de donnees, 

Avantageusement, on associe a chaque objet 
memorise dans la base de donn6es un ensemble de mots cl6s. 
Le fichier contenant les r^ponses ^ la requ§te de 
1 'utilisateur comporte les mots cles associes k 1' ensemble 
des objets similaires aux objets extraits de 1' image 

*^ sp6cifique. 

k partir de la, I'on peut interroger des bases 
de donnees textuelles en utilisant les mots cl^s associes 
k 1' ensemble des objets similaires aux objets extraits de 
1' image specif ique. 

On peut 6galement interroger des bases de 
donn6es textuelles en utilisant des mots cles definis dans 
la requdte emise par 1 * utilisateur . 

L • invention concerne egalement 1 ' interface 
comportant des moyens de delimitation d' images et des 
moyens de trcinsmission d' image pour la mise en ceuvre du 
proced^ d6crit pr6c6demment • 

La figure 1 illustre le parcours de 
I'intemaute qui souhaite passer d'une page de contenu ^ 
un site commercial. Le precede selon 1 ' invention I'envoie 
. directement sur le site en relation avec son centre 
d'interSt. 

Lors de la consultation d'une page web (1) 
specif ique, 1 ' internaute peut etre interesse par un objet 
contenu dans une image (2) . Il transmet alors cette image, 
ou une partie de cette image, a un logiciel d* extraction 
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d'objets (4) qui peut se trouver sur le terminal de 
1 'utilisateur, ou sur un se3rveur specif ique. Get 
extracteur (4) permet de definir 1' ensemble des oh jets 
contenus dans 1' image transmise (5). L* analyse est 
effectuee en temps reel pour les images designees par le 
curseur. Les objets de 1' image sont identifies comme des 
entit^s et apparaissent par exemple en surbrillance . Afin 
d ' accelerer le traitement de 1 ' image , 1 ' internaute peut^ 
definir une zone specif ique de 1 ' image dans laquelle le 
produit qui l*interesse se trouve. 

Get extracteur (4) transmet alors les objets 
trouv6s au mdcanisme de recherche d' images (8). Ge 
m^canisme utilise pref erentiellement des methodes de 
recherche par similarites visuelles. Les objets dont 
I'apparence est voisine de I'objet choisi sont consid6r6s 
comme 6tant similaires. La similarity peut s'appliquer 
\ine image enti^re par exemple un bouquet de fleurs ou k 
des objets particuliers, par exemple une fleur du bouquet. 

Le principe de la recherche d' images psur le 
contenu consiste a calculer pour chaque image un ensemble 
de descripteurs visuels, appeles signatures visuelles. Ces 
signatures constituent une representation de 1 ' information 
parcourue par I'ceil humain dans les images, et sont.. 
obtenues par un analyseur sensible ^ des propriet^s 
visuelles particulieres comme la couleur, la forme, la 
texture... Elles sont representees de mani^re compacte et 
dans un format qui permet de mesurer trhs facilement la 
similarity entre le contenu de deux images. 

Lorsque 1' extracteur (4) presente un nouvel 
objet, le systeme calcule la signature de cet objet, 
compare la nouvelle signature a celles presentes dans la^ 
base de donn^es (7) pour presenter a 1 'utilisateur les 
images de la base qui sont visuellement les plus 
similaires (9) . 

On distingue deux families de signatures 

visuelles : 
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- Generiques : elles s'adaptent a tout type 
d* image, ne n^cessitant pas de connaissance ^ priori du 
contenu de 1 ' image . 

- Specif iques : dediees a 1* analyse ou la 
5 reconnaissance d' images particulieres, elles s'utilisent 

dans \m contexte applicatif bien determine / qui est 
aujourd'hui la reconnaissance de visages. 

Un avantage majeur du proc6d6 selon 
1' invention est de savoir diviser les images en zones 

10 correspondant aux objets dans 1' image. Ainsi, en plus de 

stocker dans la base la signature attachee a 1' image 
complete, on archive chaque objet present dans 1' image et 
sa signature associee. 

Le proced^ selon 1 ' invention permet ^ partir 

15 de n'importe quelle image, vid6o ou web-TV representant im 

ou plusieurs objets d'acc^der directement a des sites de 
commerce qui vendent des objets similaires ou 
correspondent k la m&ne famille. Tout site devient ainsi 
une vi trine commerciale. 

20 Dans une image complexe contenant plusiemrs 

objets et/ou personnes, un utilisateur ne pourra 
retrouver, avec les methodes de comparaison globale, que 
quelques elements, mais ne sera pas certain de retrouver 
exact ement 1 ' objet qu ' il recherche . 

25 Par centre, gri.ce a 1' extraction des objets, 

1' objet est extrait de 1' image requSte, ainsi que de 
toutes les images de la base qui la contiennent. La sous- 
^' image correspondant sera retrouv^e dans la base de donn6e 
(7), car cette fois, I'objet y est represente. 

30 Un utilisateur qui cherche des images d'une 

personnalit6 n'aura qu'a cliquer sur son visage dans la 
seconde image. Cette capacity a extraire les objets de la 
scfene qui les contient est xinique. 

La selection de la zone d ' inter§t peut aussi 

35 §tre realisee a I'aide d*un applicatif logiciel permettant 

a un opera teur de specifier une region d'une image, 
contenant I'objet d*inter§t, par utilisation d'un marqueur 
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graphique commande avec un peripherique habituel. La zone 
ainsi s^lectioimee constitue la requite pour 1' analyse de 
la base d ' images . 

Pour trouver une image d'un objet, \m 
5 utilisateur tape le nom de cet objet dans un moteur de 

recherche classique. Des milliers d' images existent sur le 
Web chaque jour sans qu'aucun mot-cle n'y soit attach^. 
L' utilisateur a done des difficultes a retrouver des 
images de 1' objet qu'il recherche. II est par ailleurs 
10 inconcevable d'indexer manuellement toutes les images du 

Web. 

La technologie de propagation (6) des motsf^ 
clefs a I'int^rieur de la base de donnee (7) repond k ce 
probl^e. Supposons que dans la base de donnee, se trouve 
15 une image contenant 1' objet coupe du monde et que le mot- 

cl6 coupe, du monde" ait ete manuellement attache k la 
sous-image correspondante . 

Lors de I'ajout ^ la base de donn6e d'une 
nouvelle image contenant un objet specif ique, le syst^e 
20 precede de la mani^re suivante : 

1. L' image est divisee en zones correspondant 

aux objets. 

2. Pour chaque objet, le systeme recherche les 
objets visuellement similaires dans la base de donnee (7) . 

25 3. Le syst^e attache ensuite des mots-cl6s 

aux objets de la nouvelle image en dupliquant ceux 
attaches aux objets similaires dej^ presents dans la base. 
Ainsi, le mot-cl6 est automat iquement attach^ a la zone de 
la nouvelle image. 

30 Cette technique de propagation permet de 

completer la recherche apres avoir trouve les images 
similaires par similarity visuelle (8) . Les images 
similaires sent directement affichees dans la page de 
reponse (9), alors que les mots-cles (12) attaches aux 

35 images trouvees sont transmis au module d' analyse du texte. 

(13) qui permet d'interroger les moteurs de recherche 
textuelle (16) , les sites marchands (15) . 
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Le precede selon 1' invention s' applique k tout 
type de site, aux portails mais aussi a la WebTV et de 
fagon g6n6rale k toute image nxim^rique, qu'elle provienne 
d'lon scanner, d'une camera ou d'un appareil photo, et 
notamment en provenance du couplage entre une camera 
numerique et un t616phone cellulaire. 

Le proc6d6 selon 1' invention peut utiliser 
differents type de structures de gestion des relations 
entre 1 'utilisateur et le serveur de requites. 

Dans une premiere variants ou les liens sont 
precalables, on utilise des documents residant sur un site 
serveur donnant acces a des donnees multim6dias - Le 
service de recherche d'objets similaires est alors 
directement disponible, Les objets reconnus passent en 
surbrillance. L'internaute clique sur ce qui I'int^resse 
pour acc6der au site, corame il peut le faire dans des 
images utilisant un mapping pr6d6fini. 

Dans une deuxidme variante oix les liens sont 
calcul6s a « la vol6e », on utilise un plugin 
t dischargeable. Dans ce cas, la recherche par similarity 
peut s'appliquer a partir de sites sans relation 
particuli^re avec le site dans lequel est situ6e la base 
de donnee comportant les images connues. C'est done un 
outil de predilection pour aborder les programmes 
d • affiliation car aucun accord n'est necessaire pour 
indexer un site commercial . 

Dans les deux cas, lorsque I'intemaute clique 
sur le produit qui I'intSresse, le logiciel ouvre line 
fen§tre de transaction specifique qui le met immediatement 
en relation avec le site de reconnaissance qui propose : 

- A gauche le produit . 

A droite des produits et services en 
relation avec ce produit. 

L'internaute choisit un produit. II est envoyS 
directement sur un site commercial ou il peut I'acheter. 

Les parties gauche et droite de la fendtre de 
transaction jouent un r61e tres different mais 
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complementaire . On trouve a gauche des images similaire^ 
et k droite les objets correspondant au th^e du produit. 

La description qui precede conceime im mode de 
realisation dans lequel I'etape d' extraction des objets 
5 graphique est realis^e en temps reel lors du chargement de 

la page contenant ledit objet graphique. II conceme un 
processus de selection d' objets dans une image, de 
recherche d' objets similaires, de recherche de mots-cl^s 
et d' interrogation de moteurs de recherche par ces motsjj., 

10 cl6s. Ces informations (images similaires avec liens, 

mots-cles similaires avec liens) etaient initialement 
representes dans une fen^tre "pop-up" a 1 ' internaute . Ce 
processus est destine ci 1 'utilisateur final. 

L • invention peut 6galement ^tre mise en oeuvre 

15 sous une forme differente, comportant une 6tape de 

traitement et d' extraction des objets graphiques "a la 
source" . . 

Selon cette variante, plus sp6cif iquement 
destinee au propri^taire d'une image "de contenu" , et 

20 destinee k faire d'une image normale line image "active", 

c'est-a-dire a generer des liens vers des sites de 
commerce sur des zones de 1' image. 

Cette image "active" sera cod^e dans^ un 
doc\ament multimedia comprenant des coordonn^es d' objets, 

25 ainsi que des liens vers des sites concemant les objets' 

similaires (partie gauche du "pop-up original) ou les 
domaines similaires (la partie droite du m&ne pop-up) . 
Cette variante comprend plusieurs avantages important s : 

- d'une part, les performances du systfeme 

30 sont meilleures car il est inutile de rechercher des 

images et sujets similaires a chaque fois qu'une image est 
activ6e. II est necessaire de faire cette recherche unq 
seule fois -lors de 1 * enregistrement initial de 1 ' image - 
puis de transformer 1 ' image en une image activable ou 

35 "activable" qui enverra directement sur les sites ou 

images associes. 
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- d' autre part, cette variante permet au 
propri6taire de 1 ' image de s^lectionner les liens vers 
lesquels il desire que 1 ' image point e. 

Le proc6de devient ainsi un outil qui 
transforme xine image "passive" en image "active", sur 
lequel le proprietaire de 1 ' image peut inf luer en activant 
ou d^sactivant certaines parties de 1' image et/ou certains 
liens. 

Concernant le processus de visualisation des 
objets et liens similaires, le processus d6crit 
initialement (creation d'une page avec d*\m c8te les 
images similaires, d'un autre les mots-cl6s associ^s) 
devient, dans cette extension, destine principalement aux 
proprietaires des images. L* invention foumit alors au 
proprietaire un document multimedia, comprenant la 
description des objets (coordonn6es, zones de 
cliquabilite) , et les liens correspondants vers des objets 
similaires et/ou des sujets associ^s. La representation et 
1 'utilisation des liens de 1* image "active", foumie est 
laiss^e k la charge du proprietaire de 1' image source. 

La selection pantii les liens par le 
proprietaire de 1 ' image est une partie cle de cette 
variante de 1' invention. En effet, elle permet au 
proprietaire de 1 ' image de selectionner des sites "cibles" 
sur des criteres divers, dont en particulier des crit^res 
financiers (argent rapporte au proprietaire par les sites 
cibles) . 

Cette "gare de tri" peut §tre modeiisee par 
une matrice dont les abscisses sont les sites de contenu, 
les ordonnees les sites de commerce. Chaque proprietaire 
active dans sa colonne les sites de commerce vers lesquels 
il desire renvoyer ses internautes. Chaque site de 
commerce peut y voir quels sont les sites de contenu qui 
pointent vers lui. 

Il est possible d'appliquer le m&ne principe 
de recherche d' images similaires a partir de sources 
autres que des pages Internet. En effet, un appareil photo 
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numerique, xine camera PC, \m GSM-appareil photo n\an\6rique 
permettent de prendre des images de la vie courante, de 
les mettre sur le reseau (par 1 ' intermediaire ou non d'lin 
PC) et de rechercher les objets qui lui ressemblent, 
5 L'utilisateur de cette f onctionnalite utilisera la partie 

destin^e aux proprietaires d* images pour trouver des lien^^^ 
vers des images similaires, des domaines similaires (par 
les mots cles) . 

L ' invention peut etre mise en oeuvre sous la 

10 forme d'une plate-forme technique realisant le traitement 

des pages en vue de 1' extraction et le traitement des 
objets graphiques. 

Cette plate-forme foumit un service ^ ses 
utilisateurs qui permet d'associer k une image \m ensembl4\ 

15 d' images similaires accessibles sur Internet. Cet ensemble 

d' association est g6r6 grSce k une base de donnees 
h6berg6e sur la plate-forme technique et accessible ^ 
travers Internet ou h6bergee chez 1 ' utilisateur, avec une 
mise k jour par la plate-forme technique, k travers 

20 Internet. 

Un programme informatique permet de realiser 
trois actions de base : 

• ajout d'une image ^ la base de donnees (ADD) . 

• suppression d'une image de la base de donnees 
25 (DELETE) . 

• recherche d'xm ensemble d'URL d' images similaires 
(RETRIEVE) . 

Les procedures ADD et DELETE : invocation 
explicite ou automatique. 

30 Prenons I'exemple d'une « galaxie » Internet 

oil toutes les images des sites de cette communaute sont 
activement soiomises suivant le mecanisme d6crit plus haut. 

Lorsque les sites clients ajoutent ou retirent 
des images de leur site, ils invoquent les procedures ADD 

35 et DELETE. L' invocation de ces procedures peut §tre 

explicite ou g^n^r^e par un robot fourni par la plate7 
forme technique, m^morisant 1 ' arborescence des images du 
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site et notifiant automat iquement (grace au procedure ADD 
et DELETE) la base de donnees La plate- forme technique 
lors d'un changement . 

A chaque procedure ADD, le site client regoit 
une image Map et de 1 ' information structuree pour pouvoir 
etre facilement exploitee, L' image du site client est 
alors remplacee sur le site par 1' image Map et les 
informations associ^es. Il est envisageable que ce 
remplacement soit automatism. 

La procedure RETRIEVE 

Lorsqu'un utilisateur visite un site client A, 
une « notification graphique » lui permet de r^aliser que 
1 ' image est activable . Lorsque 1 ' utilisateur clique sur 
1' image en question, \ine requSte retrieve est invoqu4e, puis 
le retour (probablement un fichier XML envoye par la 
plate-forme technique) est traite et mis en pages par le 
site. L' utilisateur peut alors cliquer un des liens qui 
lui sont proposes ce qui I'emmenera vers un site cible. 

Gestion du passage d'un site client vers un 
autre : le filtre d'URLs. 

La plate- forme technique foumira la 
possibility de filtrer les URLs propos6es ou proposables 
par la plate-forme technique, soit au niveau de la base de 
donnees, soit au niveau du site client. Ce filtre permet 
de limiter les nombres d'URLs d' images similaires 
proposees a 1 'utilisateur . En effet, les URLs foumies 
permettront de passer du site client vers les sites 
references par les URLs. II est done essentiel que le 
client ait du controle sur ces liens et done decider des 
sites vers lesquels il accepte d'envoyer ses clients. 

En fonction des transactions r6alis6es par les 
utilisateurs apres qu'ils auront quitte le site client, ce 
dernier pourra negocier avec chacun des autres sites 
affili6s au service les conditions financieres du passage. 

Les ^venements « click through » et « per 

sale ». 
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Lorsqu'xan client passe d'xm site A vers un 
site B, le logiciel installe sur le site de depart g^nere 
iin ^venement « click through ». 

Dans le cas ou I'utilisateur realise des 
achats sur le site B, un mecanisme de gestion des affilies 
permet au site A d'§tre notifi^ par un evenement « per 
sale ». 

La gestion du « click through » est evoqu^e 
dans 1' annexe D, L' annexe E deer it des traitements 
possibles de 1' evenement « per sale » qui est plus d^licat 
techniquement . ^ ' 

La plate-forme de negociation, La plate-forme 
technique (ench^res sur le trafic) . 

La plate- forme technique fournira k terme sur 
son site un m6canisme permettant aux differents sites 
clients de n6gocier les revenus par click through ou 
affiliate : La plate-forme technique gdrera alors un 
tableau (un « aiguillage ») ou les cases A->B 
repr^senteront les conditions financi^res du passage du 
site A vers le site B, 

Ce passage sera possible si les « chiffres » 
mis par B dans la case A->B de la teible geree par La 
plate-forme technique sont acceptes par A. Ce mecanisme 
impl^nnente un mecanisme d'ench^res pour les conditions de 
« click trough » et « per sale » entre les deux sites. 

Le site La plate- forme technique : soumissioi^^ 
« utilisateur ». 

La plate-forme technique aura son propre site 
accessible directement aux utilisateurs (alors que le 
mecanisme d^crit dans la section prec^dente s'adresse ^ 
d'autres sites Internet (appeles clients) . 

La f onctionnalite principale de ce site sera 
la possibilite pour I'utilisateur de soumettre a la base 
La plate- forme technique une requite de type RETRIEVE k' 
partir d'un image non precedemment soumise par une 
procedure ADD k La plate-forme technique. Ces images 
pourront etre sous la forme d'un fichier image sur le 
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disque. Un mecanisme de sotunission par « tir4, ISichS » 
pourra @tre propose. 

Cette fonctionnalit^ de retrieve est 
differente de celle decrite dans la section pr6c6dente. En 
effet/ alors que dans le cas pr^cedant le calcul de la 
signature visuel est r6alis6 au moment de la procedure ADD 
et que la procedure RETRIEVE ne fait que retrouver dans la 
base de donn^es la signature calcul^e sur le ADD. Dans le 
cas present, la signature doit ©tre calcul^e au moment de 
la requete retrieve. Nous appelons cette procedure 
RETRIEVEJSTEW . 

Les scenarii d' utilisation precedents 
impliquent que les images du site que 1 ' utilisateur est en 
train de visiter aient 6te « pre- trai tees » par le serveur 
ou que 1' utilisateur les soumette au site La plate-forme 
technique . 

L' utilisation d'un plug- in present en tSche de 
fond du systdme d' exploitation donnera la possibility i 
I'utilisateur de cliquer sur n'importe q[uelle image d'un 
site et ceci meme si le site visite n'est pas client de la 
plate-forme technique (autrement dit 1' image n'a pas 6t6 
soumise pr^cedemment par une procedure ADD) et ceci k 
partir du site sans passer par le site de « soiamission » 
utilisateur de la plate-forme technique. 

Le plug- in sera telechargeable a partir du 
site de la plate- forme technique et de certains sites 
clients . En resume une telle requite se decompose en : 

• communication entre Internet explorer et le plug- 
in pour r^cuperer 1 ' image requ§te . 

• appelle de la procedure RETRIEVE_NEW. 

• affichage par le plug-in des resultats renvoyes 
par le serveur La plate-forme technique. 

Certains utilisateurs, des collectionneurs par 
exemple, sont h la recherche d' images d'un certain type 
(par exemple des images de statues ^gyptiennes) . 

La plate- forme technique fournira k ses 
clients la possibilite d'equiper leur site avec la 
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fonctionnalite ABONNEMENT. Cette f onctionnalite sera aussi 
disponible directement sur le site de « soumission » La 
plate-forme technique. 

Sur un evenement ABONNEMENT, la base de 
5 donnees de la plate- forme technique prend connaissance 

qu'un utilisateur d'un client (le client pouvant etre le 
site de « soumission » utilisateur La plate-forme 
technique lui-meme) desire etre notifi^ lorsque dJ' 
nouvelles images similaires a 1 ' image attachee a 

10 1' Evenement sont ajoutees a la base de donnees de la 

plate-forme technique. 

Lorsqu'xin evenement ADD arrive a la base de 
donnees de la plate- forme technique, le systeme La plate- 
forme technique parcourt sa base d' ABONNEMENT et regarde 

15 si une image similaire est presente. Dans ce cas, le site 

est notifi6 (si le site qui a soiimis est compatible en 
terme « d'aiguillage » avec le site client) par un 
6v^ement NOTIFY_ABONNE • 

Une autre variante de 1 ' invention concerne la 

20 procedure RELEVANCE_FEEDBACK permettant le profilage 

utilisateur. 

Le site client aura la possibilite de faire 
parvenir k la base de donnees si 1 'utilisateur ^tait. 
satisfait par le contenu envoye par la plate-forme 

25 technique sur la procedure NOTIFY_ABONNE . L'interit est 

de pouvoir utiliser la technologie de releveuice feedback 
et ainsi de proposer k 1 'utilisateur des images de plus en 
plus pertinentes. Ceci sera r6alis6 gr§.ce a la procedure 
RELEVANCE_FEEDBACK . 

30 Concretement , lorsqu'un site d'encheres sur 

des oeuvres d'art decide de s'^quiper de 1' invention, cette* 
procedure lui permettra de proposer k ses utilisateurs 
d'etre notifies si des objets similaires k celui que 
1 'utilisateur vient d'acheter sont mis en vente sur le 

35 site. Ceci a I'avantage de cibler 1 'utilisateur. 

Plusieurs jours plus tard, 1 'utilisateur 
pourra se voir proposer un objet similaire. Si 
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I'utilisateur juge que cet objet correspond a ce qu'il 
recherche il le signifiera au site d'ench^res, qui le 
signifiera ^ la plate- forme technique par la procedure 
RELEVANCE-FEEDBACK . 

Une autre variant e de mise en oeuvre conceme 
les lieux d'abonnement pour le developpement de clients 
6vengeliseurs de la plate-forme technique. 

De plus, le site d'enchere pourra mettre sxzr 
d'autres sites des « lieux d'abonnement », sur des sites 
de contenu, celui du Louvres par exemple. Bien sixr, le 
site du vise sera remunere pour h^berger le « lieu 
d'abonnement » du site d'ench^re et de la plate-forme 
technique touchera une partie ou non de cette 
remuneration . 

Ce mecanisme s'inscrit dans un mecanisme plus 
g6n6ral qui consiste ^ fournir axix sites de commerces 
electroniques les moyens d'^quiper des sites de contenu de 
la technologie, la plate- forme technique, afin de g6n6rer 
du trafic. 

Utilisation du telephone mobile. 

Les dernier s d^veloppements des t616phones 
mobiles pr6voient d'int6grer une mini camera ou un 
appareil photo digital. En permettant a\ix utilisatetirs 
d'appareils photo numeriques d'envoyer directement leurs 
photos vers le site de « soumission » utilisateur de la 
plate- forme technique decrite plus haut, et rend possible 
1' achat d' impulsion, non plus seulement pour des images 
sur un navigateur, mais pour I'utilisateur face a des 
objets r6els. Apres avoir transform^ les images du Web en 
vitrines de magasins, la plate-forme technique pourra 
alors transformer tout objet de notre entourage en une 
vi trine . 

Un mode de mise en oeuvre particulier de 
1' invention consiste k automatiser . la recherche d* objets 
graphiques similaires. Cette variante consiste ci offrir 
aux utilisateurs une fonction d'abonnement consistant a 
enregistrer sur un serveur les objets extraits de 1' image 
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s^lectionnes par im utilisateur, et a activer 
p^riodiquement \ine recherche par comparaison de ces objets 
avec ce\ix contenus dans la base de donnees, et d'envoyer ^ 
1 'utilisateur les resultats positifs de cette recherche 
5 p6riodique. 

Salon une autre variante de 1' invention, 
1 'utilisateur dispose d*un moyen pour accepter ou refuser 
des objets de la base presentant une signature similaire. 
Le resultat de cette selection est exploite pour optimiser 
10 les crit^res de similarite, par la construction d'un 

profil ^volutif par iterations successives. 

Afin de reduire le temps de calcul et ^ 
am^liorer la qualite des resultats, une variante consiste 
a enregistrer dans une memoire taitpon (memoire cache) les 
15 codes des images d6jk analys^es et la liste des images 

similaires associ6es, ces images similaires resultant 
d'une analyse ant^rieure. Toute nouvelle image presentee 
va etre comparee avec les images enregistr6es dans la 
memoire tampon par le biais du code susvise. Si 1* image a 
20 d6ja ete analys^e par le systeme, les resultats son|: 

renvoyes sans calcul supplementaire. 

La memoire tampon peut ^tre celle du poste de 
travail. Elle peut aussi etre constituee par un serveur 
distant agissant comme "proxy" , et centralisant les codes 
25 et les images similaires associ^es pour une plurality 

d'utilisateurs . 

Dans le cas contraire, le traitement habituel 
est appliqu^ a 1' image inconnue. 

La description qui suit se rapporte a une 
30 variante de mise en oeuvre dans laquelle le proc6d6 

comporte une operation inteormediaire de reconnaissance, 

Cette operation s ' intercale entre 1 ' etape 
susvis6e d' extraction d' objets (4, 5) et 1' etape de 
recherche par similarite visuelle (8) . 
35 Elle consiste a reconnaitre la categorie 

d' appartenance des objets (5) issus de l*6tape 
d* extraction (4) d* objets, ou a proposer a un operateur 



wo 01/44887 




PCT/FROO/03563 



une liste de categories d'objets probables. L'operateur 
procede a une selection d'objets dans ladite liste, pour 
preparer une requSte de recherche sur le sous -ensemble 
d' images correspondant a la categorie s61ectionnee. 

Cette operation consiste done k : 

- proposer a I'op^rateur une liste d'objets 
graphigues regroup6s en categories r^sumees chacune par 
une vignette graphigue representative de la cat6gorie 
consid6ree 

- k permettre k I'operateur de selectionner 
I'une de ces categories 

- a proceder a une recherche de similarity 
visuelle parmi les images de la categorie selectionn^e. 

Cette operation permet de reduire le temps de 
recherche en limitant la recherche a un sous-ensemble 
d" images, et d'am^liorer la quality du r^sultat, en raison 
de cette ^tape de preselection. 

Elle ameiiore dgalement I'ergonomie de 
1 'utilisation du procede en raison de la stanicturation de 
la recherche. 

Une application particuliere de 1' invention 
consiste k automatiser le chargement d'une page de 
r^sultat contenant des images similaires ^ 1' image 
contenant 1 ' obj et recherche . A cet ef f et , 1 ' operateur 
envoie une requete contenant 1 ' image initiale, et regoit 
en retour une page de resultat Scuis aucune autre 
intervention manuelle intermediaire . 
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REVENDICATIONS l 

1 - Precede de presentation d' informations 
dans un fichier multimedia, a partir d'lane requSte 
effectuee par un utilisateur sur un r^seau informatique 

5 ouvert comportant une pluralite de terminaux informatiques 

permettant la transmission de donnees graphiques affich^es 
dans des fichiers multimedia, ledit proced6 coitportant une 
6tape de choix d'au mo ins une image comportant un objet k 
rechercher, une 6tape de traitement de la requSte, un^^ 

10 6tape d' interrogation d'une base de donnees sur la base de 

cette requite, une etape de construction d'un fichier 
comportant 1' ensemble des r^ponses associ^es a cette 
requSte, caracterise en ce que : 

~ L' etape de traitement comporte 1 ' extraction 

15 des objets contenus dans 1 ' image specif ique ; 

1 * 6tape d' interrogation de la base de 
donnees comporte la comparaison des objets contenus dans 
1* image sp6cifique avec ceux qui sont contenus dans ladite 
base de donn6e, 

20 

2 - Proc6d6 de presentation d' informations 
selon la revendication 1 caracteris^ en ce que l*6tape de 
choix d* images contenant 1' objet ^ rechercher est 
constitute par une saisie d'une requ§t€ par 1 'utilisateur ^. 

25 ladite requete comportant une zone designee par 

1 * utilisateur . 

3 - Precede de presentation d' informations 
selon la revendication 1 caracteris6 en ce que I'ttape de 

30 choix d' images contenant 1' objet k rechercher est 

constitute par une analyse automatique d'une plurality de 
documents multimtdias [par exeirple de pages WEB] . \ 

4 - Prpctde de presentation d ' informations 
35 selon la revendication 1 caracterist en ce que I'on 

def init une zone specif ic[ue de 1 ' image a partir de 
laquelle les objets seront extraits, cette zone spec if ique 
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etant determinee automat iquement de fagon propre a chaque 
image analysee. 

5 - Precede de presentation d' informations 
selon la revendication 1 ou 4 caracterise en ce que I'on 
calcule pour chaque objet un ensemble de signatures 
visuelles. 

6 - Proc6d6 de presentation d ' informations 
selon la revendication 5 caracterise en ce que 
1 ' interrogation de la base de donn^es comporte une etape 
de comparaison des signatures visuelles des objets 
extraits et des images contenues dans la base de donn^es 
afin de trouver les objets similaires memorises dans 
ladite base de donn6es • 

7 - Proc6de de presentation d' informations 
selon 1 ' une quelconque des revendications pr^c^dentes 
caracterise en ce que I'on associe ^ chaque objet memorise 
dans la base de donnees un ensemble de mots cies et en ce 
que le fichier contenant les reponses k la reqpiSte de 
1 'utilisateur comporte les mots cies associes k 1' ensemble 
des objets similaires aux objets extraits de 1' image 
specif ique. 

8 - Procede de presentation d' informations 
selon la revendication 7 caracterise en ce que l*on 
interroge des bases de donnees textuelles en utilisant les 
mots cies associes k 1* ensemble des objets similaires aux 
objets extraits de 1 ' image specif ique. 

9 - Procede de presentation d' informations 
selon I'uine quelconque des revendications precedentes 
caracterise en ce que 1 ' on interroge des bases de donnees 
textuelles en utilisant des mots cies definis dans la 
requite emise par 1 'utilisateur . 
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10 - Precede de presentation d ' informations 
selon I'line quelconque des revendications precedentes 
caract6ris6 en ce que les dtapes d' extraction des objets 
contenus dans 1' image specif ique est realisee k la source, 
ant^rieurement k la mise en ligne des pages contenant 
ladite image- 



11 - Proc6de de presentation d' informations 
selon I'xine quelconque des revendications precedentes 
caractdrise en ce que les etapes d' extraction des objets 
contenus dans 1 ' image specif ique est realisee a I'arrivee, 
posterieurement au chargement d'lane page contenant ladite 
image • . 

12 - Procede de presentation d' informations 
selon I'une quelconque des revendications precedentes 
caract6rise en ce qu'il comporte une etape 
d'automatisation de la recherche d'objet graphiques 
similaires consistant k enregistrer sur un serveur les 
objets extraits de 1' image seiectionnes par im 
utilisateur, et ^ activer p^riodiquement une recherche pai^., 
comparaison de ces objets avec ceux contenus dans la base 
de donn^es, et a envoyer a 1 'utilisateur les r^sultats 
positifs de cette recherche periodique. 

13 - Procede de presentation d' informations 
selon 1 ' une quelconque des revendications precedentes 
caracterise en ce qu'il comporte une etape de selection 
permettant a 1 'utilisateur d' accepter ou de refuser des^' 
objets de la base presentant une signature similaire, le 
resultat de cette selection etant exploite pour optimiser 
les criteres de similarite, par la construction d'un 
profil evolutif par iterations successives- 



14 - Precede de presentation d' informations 
selon I'une quelconque des revendications precedentes 
caracterise en ce qu'il conporte une etape d ' acquisition 



wo 01/44887 



22 



PCT/FROO/03563 



d' image permettant aux utilisateurs d'appareils photo 
niameriques d'envoyer directement leurs photos vers le site 
de « soumission ». 

15 - Proc6d6 de presentation d' informations 
selon I'une quelconque des revendications pr6cedentes 
caracteris6 en ce qu'il comporte line 4tape de 
reconnaissance par recherche d • apparteneuice des objets (5) 
issus de I'^tape d' extraction (4) d' objets, ou ^ proposer 
^ un operateur une liste de categories d' objets probables 
consistant a preparer xane selection d' objets dans ladite 
liste, pour preparer une requite de recherche sur le sous- 
ensemble d' images correspondant k la cat^gorie 
s61ectionn6e. 

16 - Proc6d6 de presentation d' informations 
selon la revendication 15 caracteris6 en ce que 1 ' 6tape de 
reconnaissance consiste k : 

- proposer k l'op6rateur une liste d* objets 
graphiques regroup^s en categories resiam^es chacune par 
une vignette graphique representative de la cat^gorie 
consideree 

~ a permettre a 1* operateur de s^lectionner 
I'une de ces categories 

- a proceder a une recherche de similarite 
visuelle parmi les images de la categorie selectionn^e . 

Cette operation permet de reduire le temps de 
recherche en limitant la recherche ^ un sous-ensemble 
d* images, et d'am^liorer la qualite du r^sultat, en raison 
de cette 6tape de preselection. 

17 - Interface comportant des moyens de 
delimitation d' images et des moyens de transmission 
d • image pour la mise en oeuvre du precede selon la 
revendication 1. 
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